#Instruction Following

6 篇

Video-IFBench: Evaluating Instruction Following of Multimodal LLMs in Video Understanding Scenarios

视频场景下多模态大模型指令遵循能力的评估基准

🧭 多模态LLM指令遵循评估

Tencent Youtu Lab · Tencent Hunyuan · TJU · SJTU · CUHK

提出Video-IFBench，系统评估视频理解中MLLMs的指令遵循能力，含1500样本和39类约束

📌 工作参考价值（4 点）

约束分类体系可复用：电商视频场景中用户指令常含多个视觉/音频约束（如“找出视频中穿红色衣服且位于画面左侧的人”），可借鉴其39类约束设计评估或训练数据，提升模型对复杂query的遵循能力。
半自动数据构造流水线：结合MLLM生成、程序化处理和人工验证，可低成本构建领域专用的指令遵循数据集，适合业务迭代。
评估发现的启示：当前模型在复杂条件分支和语义约束上表现差，提示在Agent系统中需增加指令解析模块或结构化输出约束，避免直接依赖端到端生成。
多模态推荐借鉴：视频推荐/搜索中用户query可能包含条件选择（如“如果出现A则返回B，否则C”），可参考其嵌套指令模板设计更严格的评测集。

Eval | 2026-08-25 | HF Daily | score 6/10

GEM: A Generative Embedding Model Bridging Reasoning and Retrieval

GEM：桥接推理与检索的生成式嵌入模型

🧭 生成式嵌入 · 推理增强检索 ★ 深度解读

University of Glasgow

GEM 用单一生成式嵌入模型先对 query 推理再编码，使检索模型能理解推理而不仅是表面匹配，4B 模型超越更大 baseline

📌 工作参考价值（4 点）

在搜索 query 理解阶段，可让 retriever 自身生成 query 解析（意图、相关标准、负向条件），再对 query+推理拼接后编码，而非仅依赖原始 query 或外部 query expansion。电商搜索中复杂长尾 query（例如“适合送长辈的安卓手机，不要小米”）可先用 LLM 生成明确检索标准，提升召回精度。
训练 embedding 模型时，保留生成能力（联合 causal LM + contrastive loss），用专门 <|embed|> token 而非 EOS token，推理时可复用 KV cache，避免先推理再编码的额外计算；业务部署时可在同一模型内完成 query 推理和向量化，降低 pipeline 延迟。
数据合成 trick：采样多个 reasoning 候选，用 LLM 判断原始相关文档是否仍满足该推理来过滤；再基于通过过滤的推理生成正文档和“主题相似但违背某个推理标准”的 hard negatives。这种对齐数据能显著提升 embedding 对指令/约束的敏感度，适用于电商推荐中“可解释偏好”或“多条件过滤”场景。
测试期 compute scaling：通过 prompt 要求生成更长推理（如目标词数）可稳定提升 nDCG，但到 1024 词后饱和；工程上可对高价值 query 分层使用，长尾复杂 query 用扩展推理，普通 query 短推理，平衡效果与成本。

RecSys | 2026-08-13 | cs.IR | score 8/10

Generative Embedding Reasoning Instruction Following Dense Retrieval LLM Test-time Compute

Verifier-Induced Support Reshaping in On-Policy Optimization

在线策略优化中验证器诱导的支撑重塑

🧭 RLVR在线策略优化的能力保持问题

Peking University · BUPT

在线RLVR优化单一目标会缩小后续任务可采样成功轨迹，导致pass@1与best@k背离

📌 工作参考价值（4 点）

多目标 RLVR/RLHF 后训练时，同时监控 pass@1、best@k 与“有成功轨迹的 prompt 比例”，避免平均奖励上升但尾部任务支撑塌缩。
对搜索/推荐 Agent 的指令遵循或格式约束训练，RLVR 可能只重排已有开头 token 而非生成新能力；可对前几个 token 加多样性正则或保留基座策略的开头分布。
顺序多目标训练（如先数学后 IF）应在每个阶段保存 checkpoint 并评估跨任务 best@k；参考策略约束、路由先验、蒸馏只能部分缓解，建议显式混合数据或联合验证器。
若用 RLVR 做转化/点击奖励的 on-policy 优化，需防止模型为提升即时反馈而牺牲搜索/检索友好性；可在 reward 中考虑前几个 token 的信息量或可搜索性。

Training | 2026-07-30 | HF Daily | score 7/10

RLVR On-Policy Optimization Support Reshaping Instruction Following Math Reasoning Continual Learning

LLM-as-a-Tutor: Policy-Aware Prompt Adaptation for Non-Verifiable RL

LLM 当导师：面向非可验证强化学习的策略感知提示自适应

🧭 LLM 训练 · 奖励信号自适应

KAIST · Upstage · University of Toronto · Carnegie Mellon University · NVIDIA

让 LLM 同时充当考官和生成器，通过追加原子约束实现提示难度自适应，恢复奖励区分度。

📌 工作参考价值（4 点）

在搜索推荐中使用 LLM 评委评估生成质量时，可借鉴 append-only 约束生成方法，随策略能力提升动态增加评估提示的难度，避免奖励信号失效。
Agent 训练中，固定任务指令易导致简单样本无区分度，可引入自适应难度机制：比较 agent 产出质量，对简单任务自动追加新约束，维持训练信号有效性。
工程实现上，复用单一 LLM 完成比较判别与约束生成，原子化约束的追加方式保证难度单调递增，无需外部调度模块，降低系统复杂度。
在广告文案或推荐理由生成中，可动态调整评估维度（如“增加情感诉求”、“限制字数”）来持续激发模型能力提升。

Training | 2026-07-04 | HF Daily | score 7/10

RLHF Reward Modeling Prompt Adaptation LLM Judge Instruction Following

Seed2.0 Model Card: Towards Intelligence Frontier for Real-World Complexity

字节跳动 Seed2.0 模型卡：迈向真实世界复杂性的智能前沿

🧭 多模态大模型智能体优化 ★ 深度解读

Bytedance Seed

面向大规模生产的 LLM 系列，通过多模态、Agent 和长尾知识优化，以极低成本实现国际前沿水平的综合性能

📌 工作参考价值（4 点）

高性价比的 API 选型参考：Seed2.0 Pro 输出价 $2.37/1M tokens，远低于 GPT‑5.2（$14）和 Claude‑Opus‑4.5（$25），在推荐/搜索系统的批量推理、内容理解等高频调用场景可大幅降低基础设施成本。
多模态理解可直接提升商品内容处理：视觉基准上 Seed2.0 Pro 在文档/图表理解（ChartQAPro 71.2、OmniDocBench 1.5 0.099 NED）、长文本理解（MMLongBench‑Doc 61.4）等任务达 SOTA，可借鉴用于商品主图、详情页、评价图像的自动化结构化提取与问答。
Agent 能力评估框架可迁移：论文给出的 Coding/Search/Tool/GUI/DeepResearch 多维 Agent 评估矩阵，以及在工程上对测试进行环境收敛、质量过滤、移除不稳定用例的做法，可直接用于企业内部推荐 Agent 或电商客服 Agent 的离线评测体系建设。
复杂指令遵循的可落地 trick：通过细化指令类型（格式/条件/内容/措辞/语气/Emoji/Few‑shot/中英文长度）进行分项优化，Seed2.0 Pro 在中文生产场景下整体提升 2.4pp，尤其语气控制（+15.2pp）和 Few‑shot 学习（+9.5pp）提升显著——做对话式推荐或促销文案生成时可以借鉴这些分项指标来监督微调和对齐。

LLM | 2026-06-29 | HF Daily | score 8/10

Multimodal Agent Cost-Efficiency Long-tail Knowledge Instruction Following MaaS

Harness Updating Is Not Harness Benefit: Disentangling Evolution Capabilities in Self-Evolving LLM Agents

更新架构非受益架构：解耦自进化LLM智能体的两种核心能力

🧭 自进化LLM智能体能力解耦分析 ★ 深度解读

The Pennsylvania State University · UC Santa Cruz · Amazon · Emory University · UIUC

揭示模型更新外部架构（harness-updating）与受益能力（harness-benefit）分别与基础能力脱钩，并指出弱模型受益低源于架构激活与遵循失败。

📌 工作参考价值（4 点）

将算力与优质模型优先分配给任务执行 agent，而非 evolver：evolver 模型产生的最终增益差异最多仅 3.1 个百分点，且不单调依赖模型规模；post-evolution 性能主要受 agent 基础能力支配。
针对弱模型 agent 强化“架构激活”训练：弱模型（如 Qwen3-32B）的技能加载率仅 25.1%，常因多键格式错误而失败；应设计严格单键的加载动作，或在训练中显式学习“主动查询并注入 harness 组件”的元动作。
增强长时域指令遵循能力以维持架构指导：弱模型加载技能后，沿轨迹遵循度从 0.52 骤降至 0.13；可在训练中加入轨迹级指令一致性奖励，或采用分阶段验证来维持 adherence。
简化架构交互协议以降低工程摩擦：将 harness 调用设计为显式、单键、机器易解析的动作（如 load_skill 独立 key），避免与推理内容混合，可提升弱模型的激活成功率。

Agent | 2026-05-27 | HF Daily | score 8/10

Self-Evolving Agents Harness Engineering Capability Analysis LLM Agents Instruction Following